AdShot: Benchmarking Multimodal Large Language Models for Video Advertisement Clipping
AdShot：面向视频广告剪辑的多模态大模型评测基准
🧭 多模态大模型评测 · 广告剪辑
Northeastern University · Southern Methodist University
推出 AdShot 基准：823 对广告镜头选择评测，发现架构优先于规模且模型有内容偏好
📌 工作参考价值（4 点）
- 在电商商品视频多时长自动剪辑中，把镜头选择建模为受时长预算约束的子集选择，而非让 MLLM 直接输出完整 15s 连续片；AdShot 显示模型原始输出平均时长误差 5.39s，工程上必须加显式约束（DP/贪心 + 镜头时长表）。
- 选型时不要迷信 72B 大模型；该基准中架构比规模更关键，小模型常追平或超过大模型。业务落地可优先评测 7B–13B 视频 MLLM，成本更低且可私有化部署。
- 评估/微调需要显式覆盖 action、emotion、information、imagery 四类内容；模型系统性偏好 information/emotion 镜头，会漏掉 action 和 imagery，电商广告中动作展示、产品外观镜头可能需要通过 prompt、奖励或后处理加权校正。
- 若构建类似自动剪辑系统，建议加入音频声道：音频消融提示纯视频模型缺乏口播/音乐信息，商品口播、卖点音频对剪辑相关性高，评测时应纳入音频模态。